The effect of visual speech on FM-sweep evoked MEG responses

Multimodaalisuus eli useiden eri aisteista tulevan tiedon yhdistäminen yhdeksi yhtenäiseksi havainnoksi on keskushermoston yleinen ominaisuus. Tämä koskee myös audiovisuaalista toimintaa eli kuullun ja nähdyn yhdistämistä. Eräs tunnetuimmista ja vaikuttavimmista esimerkeistä tästä on niin sanottu McGurk-illuusio, jossa tiettyä tavua vastaava ääni ja eri tavua vastaava videokuva puhuvasta henkilöstä aiheuttavat kuuloaistimuksen, joka eroaa näistä kahdesta ärsykkeestä. Tässä kokeessa tutkittiin visuaalisen puheen vaikutusta formantin kaltaisten sinipyyhkäisyiden aiheuttamiin aivovasteisiin käyttämällä magnetoenkefalografiaa (MEG) tutkimusmenetelmänä. MEG mittaa aivoissa olevien sähkövirtojen pään ympärille muodostamaa magneettikenttää; tästä kentästä päätellään taas aivoissa tapahtuvat aktivaatiot. Visuaalisina puheärsykkeinä toimi joko henkilö toistamassa tavua /ba/, tavua /ga/ tai still-kuva samasta henkilöstä. Auditorisina ärsykkeinä toimi kuusi sinipyyhkäisyä, joiden alku ja lopputaajuudet olivat seuraavat: 200-700 (F1), 400-1800 (F2a), 1000-1800 (F2b), 1600-1800 (F2c), 2200-1800 (F2d) ja 2800-1800 Hz (F2e). Tutkimusoletuksena oli, että kun visuaalinen ja auditorinen ärsyke vastaisivat toisiaan, aktivaatio aivoissa olisi voimakkaampaa tai heikompaa, kun jos ne eivät vastaisi toisiaan. Myös vasteiden latenssit saattaisivat erota toisistaan. Kokeessa tuli aina sarja joko /ba/-, /ga/- tai still-tilannetta videolta, joiden aikana kuului sinipyyhkäisyjä satunnaisessa järjestyksessä. Visuaaliset tilanteet vaihtuivat myös satunnaisesti. Koehenkilöiden tuli aina visuaalisen tilanteen vaihtuessa toiseksi vastata nostamalla sormeaan. Kokeen lopputulokset olivat ristiriitaiset: kun dataa tarkasteltiin yhtenä kokonaisuutena, mitään yhteisvaikutusta nähdyn ja kuullun ärsykkeen välillä ei havaittu. Kun taas nähdyn ärsykkeen vaikutusta aivovasteisiin tutkittiin eri tilanteissa, havaittavissa saattaa olla tietyissä yksittäistapauksissa esiintyvää modulaatiota vasteiden amplitudeissa, mutta tämä on epävarmaa. Mahdollisia visuaalisia efektejä testattiin useammalla tilastollisella testillä. Eroja aktivaatioista löytyi vasemmalta puolelta aivoja. Mahdollinen interaktioefekti visuaalisen ja auditorisen ärsykkeen välillä oli olemassa, mutta tämän efektin tarkka luonne on epäselvä. Koe kuitenkin paljasti muita ärsykkeisiin liittyviä efektejä. Kuultu ääni vaikutti sekä vasemmassa että oikeassa aivopuoliskossa sekä mitattaessa amplitudia että latenssia siihen, millainen aktivaatio syntyi.Multimodality (combination of information coming from several senses as a unified perception) is a common property of central nervous system. One example of this is combination of auditory and visual information; that is, what is seen and what is heard. One of the better known and most impressive examples of this is the McGurk illusion, where a sound of a syllable and a video picture of a person pronouncing another syllable produce a completely new audio sensation, which is different from the audio and visual stimuli alone. This experiment examined the effect of visual speech on brain responses evoked by formant like sine wave sweeps using magnetoencephalography (MEG) as a research method. MEG measures the magnetic field outside the head, which is caused by electrical currents on our brains; from this magnetic field the electric current distribution inside the head is then deducted. Visual speech stimuli were either a video of a person pronouncing /ba/, pronouncing /ga/ or a still picture of the same person. Auditory stimuli were six different sine sweeps, with the following initial and final frequencies: 200-700 (F1), 400-1800 (F2a), 1000-1800 (F2b), 1600-1800 (F2c), 2200-1800 (F2d) and 2800-1800 Hz (F2e). The hypothesis was that when auditory and visual stimulus match each other, the activation in the brains would be stronger, than when they do not match each other. In the experiment, a series of /ba/-, /ga/- or still situation came from the video, during which the subject heard sound stimuli coming in a random order. The order of visual series was random. Whenever the visual series changed to another, the subject was supposed to answer by lifting a finger. The results of the experiment were contradictory: when the data was observed as a hole, no interaction effect between the visual and audio stimulus was observed. When the effect of visual stimuli in different situations was being observed, there might have been some kind of interaction effect present in isolated cases, but this is uncertain. Possible visual effects were tested with several statistical tests. Differences in activations were present in the left hemisphere. A potential interaction effect between auditory and visual stimuli was detected, but the exact nature of this effect remains unclear. The experiment did, however, reveal other effects. The heard sound affected both in the left and in the right hemisphere, with both amplitude and latency to that, which kind of activation occurred